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Abstract of DE1 9728890 

The invention relates to an image improvement system in accordance with application DE19631414. Said 
system is characterized in that the reflex image in the interior of the eye is scanned on the retina (NH) 
and, after modification, is projected back into the eye by the same path. The invention proposes using an 
elliptical scan. 
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(3) Verfahren zur Verbesserung des optischen Wahrnehmungsvermogens durch Modifikation des Netzhautbildes 

@ Bei einem Bildverbesserungssystem nach Anmeldung 
Nr. 19631414.3, bei dem das Reflexbild im Innerert des 
Auges abgetastet und nach Modifikation auf dem glei- 
chen Weg in das Auge zuruckprojiziert wird, wird die Ver- 
wendung eines Ellipsenscans vorgeschlagen. 
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Beschreibung 

Die Erfindung betrifft eine Brille, mit deren Hilfe iiber 
eine Ruckspiegelung an der Innenseite derselben das Netz- 
hautrcflexbild des Augcs bei untcrschicdlichcr Hclligkcit 5 
der Umgebung elektronisch aufgenommen, mit einem Com- 
puter modifiziert und iiber eine Beleuchlungseinrichtung 
und eine Ruckreflexion iiber die gleiche Brille physiolo- 
gisch vcrzogcrungsfrci dem urspriinglichcn Bild so ubcrla- 
gert wird, daB ein verbesserter Seheindruck entsteht. to 

Die Verwendung von optoelektronischen Brillen zur 
Spiegelung von computergenerierten Bildern ins Auge mit 
den Namen "cyberspace" oder "virtual reality" nimmt heute 
rasant zu. Diese Technik ist sowohl fur die Anwendung in 
der Unterhaltungsindustrie als auch in den verschiedenen is 
Gebieten der Industrie, Verkehr und Medizin von breitem 
Nutzen und wird mit der Verfugbarkeit von immer schnelle- 
ren Bildverarbeitungscomputern an Verbreitung und Bedeu- 
tung standig zunehmen. 

Am weitesten verbreitet ist die Anwendung mit geschlos- 20 
senen, nicht transparenten Brillen, bei der Biider von minia- 
turisicrten Kathodcnstrahlrohrcn oder Flussigkristall-Matri- 
zen uber Spiegel- oder Glasfasersysteme dem Auge darge- 
boten werden. Die besondere Attraktivitat dieser Technik ist 
es, mit bewegter dreidimensionaler Bilddarstellung, den 25 
Bildablauf oder die Handlung mit verschiedenen Bewegun- 
gen des Brillentragers zu koppeln. So wird eine Anderung 
der Blickrichtung durch Kopfbewegung oder Anderung der 
Perspektive bei fortschreitender Bewegung nachgebildet. Es 
konnen die Bewegungen der Arme und Finger des Brillen- 30 
tragcrs mit Hilfe von Scnsoren in das Bild cingebracht wer- 
den, um ihm die Moglichkeit des direkten Eingreifen in die 
Handlung zu ennoglichen. 

In neueren Systemen mit dem Namen "augmented rea- 
lity" kann der Brillentrager mit Hilfe teiltransparenter Bril- 35 
len sowohl die Umgebung als auch ein iiber die Brille einge- 
spiegeltes Bild von Kameras von der gleiche Szene oder von 
anderen Bildinhalten iiber einen miniaturisierten Monitor 
am Helm betrachten. Eine wohlbekannte Variante dieses 
Verfahrens ist bei der Fuhrung von Kampfflugzeugen mit 40 
dem Namen Helmet-mounted-display (HMD) bereits einge- 
fuhrt. 

Bei dieser Techniken sind jedoch mehrere Probleme be- 
kannt, die auf die Wirkungsweisc des Gesichtsinnes zuriick- 
zufuhren sind und auf verbesserte technische Losungen war- 45 
ten. Bei einer geschlossenen Brille und einem starr gekop- 
pelten Monitor und Monitorbild bewegt sich bei einer Kopf- 
bewegung des Brillentragers die Szcnc in gleicher Richtung 
mit, was seinen Sehgewohnheiten in unnatiirlicher Weise 
widerspricht. Er ist durch die Abbildung des Auges ge- 50 
wohnt, daB die Szene gerade in entgegengesetzter Richtung 
verlauft. Dieses Problem konnte durch die umstandliche 
Messung der Kopfbewegung und des Augapfels mit exter- 
nen Drehwinkelsensoren, einer entsprechenden Bildverar- 
beitung und Nachfuhrung des generierten Bildes bis jetzt 55 
nur unvollkommen gelost werden. 

Durch Anpassungsbewegungen des Augenapfeis, die von 
sogenannten vestibularen okularen Reflexen (VOR) des Oh- 
ren-Bogengang-Sy sterns ausgehen und dem Festhalten des 
Fixationspunktes bei Kopfbewegungen dient, ist das Auge 60 
selbst in der Lagc, das Netzhautbild grob zu stabilisicren. 
Die Feineinsteilung geschieht mit dem Bild als Referenz. 
Dieses Bi Id-Tracking wird zusatzlich vom Auge verwendet, 
um die VORs einer dynamischen Augenausrichtung zu ad- 
aptieren. 65 

Dies bedeutet, daB eine Uberlagerung von Fremdbildern 
erst bei ihrer Ankopplung an das reale Netzhautbild einen 
wirklichkeitsgetreuen Bildeindruck geben kann. 
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Bei geschlossenen Brillen wird versucht das Bild der 
BlutgefaBe (Augenhintergrund) als Referenz zu verwenden 
(Retina- Tracking). Das liefert allerdings nur eine ungenii- 
gende Auflbsung und ist ausschlieBlich fur monokulare Be- 
trachtungen gceignct (sichc z. B. E.Pcli, "Visual issues in 
the use of a head-mounted monocular display", Optical En- 
gineering, vol. 29, No. 8, p. 883 (1990). Eine gleichzeitige 
Stabilisierung in beiden Augen von Bildern mit diesen ist 
wegen der untcrschicdlichcn Ausrichtung der Augen prak- 
tisch unmoglich. Neben der Verschlechterung der Bildquali- 
tat, fiihrt der Konflikt zwischen den vestibularen und visuel- 
len Informationen haufig zu Bewegungsstorungen bis hin 
zur Seekrankheit. Diese Probleme der bestehenden Technik 
werden z. B. in dem Ubersichtsartikel von E. Peli, "Real Vi- 
sion & Virtual Reality" in Optics & Photonics News, July 
1995, S. 28-34 beschrieben. 

Aufgabe der Erfindung ist es, die Probleme der Bildstabi- 
lisierung bei Uberlagerung von Fremdbildern mit dem rea- 
len Bild zu losen. 

Der Erfindung liegt die altere deutsche Paten tanmeldung 
19631414 mit der Bezeichnung: "Vorrichtung zur Auf- 
nahme des Netzhautrcflcxes und Uberlagerung von Zusatz- 
bildern im Auge" zugrunde. In dieser wird eine Vorrichtung 
beschrieben, mit der das Netzhautreflexbild mit Hilfe eines 
konfokal abbildenden, zweiachsigen Scansystems iiber die 
Reflexion der Innenseite einer teiltransparenten und entspre- 
chend gewolbten Brille, seriell mit einem hochempfindli- 
chen Photodetektor aufgenommen wird. 

Darin wird vorgeschlagen, mit Hilfe von Lasern und eines 
Strahlenteilers uber denselben Lichtweg in umgekehrter 
Richtung wie das aufgenommcne Bild das verbesserte Bild 
auf die Netzhaut seriell abzubilden. 

Daruber hinaus wird auch die Moglichkeit eroflfnet, an- 
dere Biider zusatzlich auf die Netzhaut zu uberlagern. 

Mit. dieser Technik sind die vorgenannten Probleme 
grundsiitzlich gelost, jedoch wurden konkrete Realisierun- 
gen und Anwendungen nicht angegeben. Der Grundgedanke 
der neuen Erfindung dieses Verfahren zur Verbesserung des 
Wahrnehmungsvermogens des Auges einzusetzen. Die phy- 
sikalischtechnischen Probleme, die dazu gelost werden 
mussen, ergeben sich aus den physiologischen Eigenschaf- 
ten des Auges und den standig variierenden Beleuchtungs- 
verhaltnissen in der Umgebung. Das Auge ist wegen der va- 
riablen Lichtverhaltnissc und der untcrschicdlichcn opti- 
schen Aufgaben in seinen Grundfunktionen ein sehr dyna- 
misches Sinnesorgan. Es adaptiert sich an die Variation der 
Intensitat der Hintergrundbeleuchtung iiber 12 Dekaden. Es 
schaltct vom Farbschcn bcim Tageslicht. auf rcines schwarz/ 
weiB Sehen in der Nacht um. Licht in dem Wellenlangenbe- 
reich 400-1500 nm wird von dem Auge transmittiert und 
auf die Netzhaut abgebildet. Dabei wird nur Licht im Be- 
reich von 400 nm bis 750 nm wahrgenommen, d..h. das in- 
frarote Licht im Bereich von 750-1500 nm, das sowohl bei 
AuBen- als auch Innenbeleuchtung sehr hell ist, bleibt fur 
die visuelle Wahrnehmung ungenutzt. 

Das Auge erfaBt horizontal und vertikal einen Winkelbe- 
reich von etwa 100°. Die Bildauflosung nimmt jedoch mit 
dem Winkelabstand von der Sehachse sehr schnell ab. Das 
aufmerksame momenlane Sehen ist auf einen zentralen 
Winkelbereich von nur +/- 5° begrenzt und das "scharfe" 
Sehen, z. B. beim Lesen oder Autofahrcn, ist auf den sehr 
geringen zentralen Winkelbereich von +/- 0,5° begrenzt. 
Hinzu kommen standig verschiedenardge Bewegungen der 
Augen. Dies fuhrt zu folgenden Konsequenzen, die unter 
bestimmten Umstanden das Wahrnehmungsvermogen des 
Auges beeintrachtigen und die im Rahmen der neuen Erfin- 
dung verbessert werden sollen: 
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- Adaption 

- Akkommodation 

- Scharfelei stung 

- Sehfehler 

- Altersbedingte Mindcrlcistung und 

- Bewegungsdynamik. 

Die Aufgabe der vorliegende Erfindung ist es nun, eine 
Anordnung vorzuschlagcn, die ahnlich wic das Augc in ih- 
ren Grundfunktionen sehr variabel gestaltet und an die Er- 
fordernisse des Sehvorgangs angepaBt ist, aber gleichzeitig 
die besondere Physiologie und Dynamik des Auges und die 
variierenden Beleuchtungsverhaltnisse der Umgebung und 
den unsichtbaren IR-Bereich beriicksichtigt und ausnutzt. 
Dies laBt sich mit den in der friiheren Erfindungsmeldung 
angegebenen Abtast- und Scanvarianten (serieller Rasters- 
can, serieller Spiralscan) nur unzulanglich erreichen. Dies 
betrifft sowohl das Abtastmuster der Bildaufnahme des 
Netzhautreflexes als auch die Ruckprojektion des Laserbil- 
des in das Auge. 

Ein grundsatzliches Problem der seriellen gegenuber der 
parallclcn Bildabtastung ist die kurze Vcrwcilzcit des Scan- 
ners in jedem Bildpixel. 

Eine gleichmaBige Abtastung z. B. von 0,5 Mio Bild- 
punkte in einer Abtastzeit von 40 ms bedeutet eine Integra- 
tionszeit von nur 0,08 us d. h. 80 ns in jedern Bildpunkt. Tm 
Vergleich hierzu betragt die parallele Zeitintegration aller 
Bildpunkte des Auges selbst 10-20 ms. 

Wie aus der Anwendung von Lasern zur Aufnahme der 
Netzhautstruktur des Auges in den sogenannten Laser Scan- 
ning Ophthalmoskopcn bckannt ist, ist eine Laserlcistung 
von etwa 40 uW notwendig, um beim Rasterscan ein Signal- 
Rausch-Verhaltnis von 17 aus einem Bildpixel zu erzielen 
(siehe z. B. A.Plesch, U. Klingbeil, and J. Bille, "Digital la- 
ser scanning fundus camera", Applied Optics, Vol. 26, No 8. 
p. 1480-1486 (1987)). Umgerechnet auf die groBere Flache 
wiirde dies einer Bestrahlungsstarke in einem Abbild einer 
ausgedehnten Quelle auf der Netzhaut von 40 W/cm 2 ent- 
sprechen, was der Bestrahlungsstarke von hellen Schein- 
werfern oder Sonne auf der Netzhaut entspricht, d. h. mit 
dem Rasterscan kbnnen erst relativ helle Quellen mit einem 
guten Signal- Rauschverhaltnis auf der Netzhaut aufgezeich- 
net werden. Um die Abbiidung von schwacheren Quellen 
auf der Netzhaut zu detektieren, muB die Empfindlichkeit 
wesentlich gesteigert werden. 

Die serielle Bildabtastung hat jedoch fur die Aufnahme 
des Netzhautreflexes den entscheidenden Vorteil der besse- 
rcn Untcrdriickung von Strculicht, der cinfacheren Aufnah- 
meoptik und der Moglichkeit der exakten Umkehrung des 
Strahlenganges bei der Bildriickprojektion mit einem Laser 
und soli aus diesen Griinden auch in dieser Erfindungsmel- 
dung beibehalten werden. Eine Verlangerung der Verweil- 
zeit kann aber durch Anderung des Scanmusters erreicht 
werden. 

Wegen der ungleichmaBigen Verteilung der Photorezep- 
toren, mit der hochsten Dichte der Zapfen fur das scharfe 
Sehen im Zentrum der Netzhaut und dem entgegengesetzten 
Verlauf der Stabchen fur das unscharfe aber lichtempfindli- 
che Nachtsehen, ist der Rasterscan keineswegs das optimale 
Scanmuster. Ein an den Sehvorgang angepaBtes Scanmuster 
sollte fur das Tagessehcn in Richtung zum Zentrum zuneh- 
mend langsamer und dichter werden, fiir die Anpassung an 
das Nachtsehen gerade umgekehrt. 

AuBer der Verweilzeit kann das aufgenommene Signal 
durch Anderung der FleckgroBe der Abtastung und darnit 
auch der Bildauflosung beeinfluBt werden. 

Die Anzahl der Signalphotonen N s die von einem abta- 
stenden Aufnahmegerat von der Netzhaut pro Bildpixel auf- 
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genommen werden, kann nach der folgenden Formel be- 
rechnet werden: 

N s = (B T AK t)(A 0 R)(S/27i)(Ap/D 2 )(l/e) 

5 

wobei 

B = die spektrale Bestrahlungsstarke auf der Netzhaut 

T = die optische Transmission von Netzhaut bis zum Photo- 

dctcktor 

to t = die Integrationszeit in einem Bildpixel auf der Netzhaut 

Aq = die Flache des Bildpixels 

R = Reflexionsvermogen des Bildpixels 

AX = Spektrale Breite des Empfangssignals 

A p = Pupillenflache 
15 D = Abstand der Pupille zur Netzhaut 

S/27C = der Winkelverteilungsfaktor der optischen Riick- 

streuung der Netzhaut 

e = Energie eines Photons bei der Aufnahmewellenlange 
bezeichnen. 

20 Wie diese Formel zeigt, konnen starkere Signale, d. h. 
eine groBere Anzahl von Signalphotonen durch folgende 
MaBnahmen am Aufnahmegerat gewonnen werden: 

- Verlangerung der Verweildauer x des Scans in den 
25 einzelnen Bildpunkten, 

- VergroBerung des Abtastflecks A D auf der Netzhaut 

- VergroBerung der spektralen Bandbreite AX. 

Die Erfindung schlagt das Abtasten der Netzhaut in einer 
30 Abfolge von konzentrischen Kreisen vor (Kreismittelpunkt 
istglcich Fovea centralis), dercn Radius sich sukzessive vcr- 
groBert bzw. verkleinert. Diese Art des Scannens wird als 
Kreisscan bezeichnet, Wegen der Rotationssymrnetrie der 
Augenlinse und der Pupille um die Sehachse und der rotati- 
35 onssymmetrischen Verteilung der Photorezeptoren in der 
Netzhaut ist der Kreisscan optimal. 

Die Erfindung schlagt weiterhin vor, daB ein identischer 
Kreisscan fur die Aufnahme des Netzhautreflexes von der 
Umgebung und die Bildprojektion mit dem Laser verwendet 
40 werden. Da beim Kreisscan von auBen bis zum Zentrum, 
nach dem Erreichen des Zentrums, die Scanachse den glei- 
chen Weg riickwarts verlauft, kann wahlweise die Auf- 
nahme beim Scan bis zum Zentrum und Projektion von Zen- 
trum bis auBen, oder die Aufnahme uber den gesamten Ab- 
45 tastvorgang und Projektion erst in einem zweiten verwendet 
werden. 

Bei einer konstanten Auslenkung von Scanspiegeln in 
zwei Richtungen (Lissajou-Figur) erfolgt. beim Kreisscan 
zwangslaufig eine Verlangsamung der Verweildauer in 
50 Richtung zum Zentrum. Die Erfindung sieht jedoch vor, daB 
fur das Tagessehen die Scandauer benachbarter Kreise, je 
nach den Belichtungsverhaltnissen, noch zusatzlich verlang- 
samt und fiir das Nachtsehen sogar beschleunigt werden 
kann. 

55 Aufgrund der ungleichmaBigen Verteilung der Zapfen 
uber die Netzhaut mit einer um mehr als zwei Dekaden ho- 
heren Dichte im Zentrum kann die Abtastrate (Verweildauer 
pro Bildpunkt) in diesem Bereich um diesen Faktor, 100 er- 
hoht werden. 

60 Fiir das Nachtsehen mit der hoheren Verteilung der Stab- 
chen mit zunehmenden Radius ist es sinnvoll, daB die Ver- 
weildauer entgegengesetzt nach auBen in ahnlichem MaBe 
abnimmt. 

Wie dem Fachmann bekannt, laBt sich ein Kreisscan in 
65 analoger Ansteuerung mit periodisch schwingenden ortho- 
gonalen Scanspiegeln, oder in digitaler Ansteuerung durch 
Naherung an die Kreisspur mit einer hohen Anzahl von ge- 
raden Strecken. Als dritte Alternative bietet sich die Ver- 



25 



30 



35 



40 



45 



50 



55 



60 



DE 197 28 

5 

wendung von programmierbaren Algorithmen analoger An- 
steuersignale, die digital aufgerufen werden konnen und am 
besten fur diese variablen Verhaltnisse am geeignet sind. 

Damit das Empfangssignal auch durch VergroBerung des 
abgetastetcn Bildflecks, proportional zu seiner Flache, zu- 5 
satzlich erhoht werden kann, sieht die Erfindung ferner vor, 
daB die inomentane BildpixelgroBe auf der Nelzhaut zusatz- 
lich zur Scangeschwindigkeit variabel eingestellt werden 
kann. 

Mit der Anderung der BildfleckgroBe wird auch die Bild- 10 
auflosung entsprechend der Situation angepaBt. AuBer der 
Veranderung der Abtastflache kann die Auflosung durch va- 
riablen Radiensprung der Scanradien eingestellt werden. 

Mit einer VergroBerung des abtastenden Bildpixels von 
z. B. 10 urn auf 100 urn wird z. B. die Bildauflosung von 15 
etwa 2 bis 20 Bogenminuten (Auflosungsbereich des Lesens 
und Betrachtens) um einen Faktor 10 reduziert, gleichzeitig 
wird das empfangene Signal um einen Faktor 100 erhoht. 

Wie dem Fachmann bekannt, ist bei der konfokalen Abta- 
sten die Bildauflosung durch den Blendendurchmesser im 20 
Zwischenfokus vor dem Photodetektor bestimmt und kann 
durch seine Veranderung eingestellt werden. Die Erfindung 
sieht vor, daB hierfur Flussigkristallblenden oder elektro-op- 
tische Blenden verwendet werden, damit diese Einstellung 
moglichst schnell, d. h. innerhalb eines Abtastzyklus, durch- 25 
gefuhrt werden kann. 

Da der zeitliche Ablauf des Scannens und die GroBe des 
Bildpixels bei Aufnahme und Projektion moglichst iden- 
tisch sein sollten, schlagt die Erfindung vor, daB die die An- 
derung des Scanverlaufs und Blendenregelung im Projekti- 30 
onskanal die gleiche ist wie im Aufnahmekanal. Die Varia- 
tion der optischen Integrationszeit und Bildpixelflache kann 
dann im Projektionskanal durch entsprechende Variation der 
Sendeleistung des Lasers kompensiert werden. 

Die Hone des Empfangssignals ist weiterhin von der 35 
spektralen Bandbreite des Empfangers abhangig und kann 
durch ihre Verbreiterung erhoht werden. Die Erfindung sieht 
vor, daB im Bereich des hellen Tagessehen (photopisches 
Sehen) eine der Augenfarbempfindlichkeit entsprechende 
Aufspaltung des Strahlenganges in die Farbkanale Rot- 40 
Griin-Blau mit je einer spektralen Breite von etwa 100 nm 
vorgenommen werden kann. Dies ermoglicht eine farbechte 
Bildaufnahme und mit entsprechenden dreifarbigen Lasern 
cine farbliche Zuriickprojektion ins Augc. 

Bei einer schwacher Umgebungsbeleuchtung, bei der 45 
Farben nicht mehr vom Auge wahrgenormnen werden (sco- 
topisches Sehen) sieht die Erfindung die Zusammenlegung 
allcr Kanale zu cinem cinzigen (schwarz/weiB) Empfangs- 
kanal ohne Farbauflosung vor. Weiterhin sieht die Erfindung 
vor, daB dieser Empfangskanal nicht nur den sichtbaren Be- 50 
reich von 400-700 nm, sondern zusatzlich den nahen infra- 
roten Bereich von 700-1000 umfaBt. 

Dies bringt zur Erhohung des Empfangssignals bei 
schwacher Hintergrundbeleuchtung die folgenden Vorteile: 

55 

- das Auge hat zwischen 400-1000 nm voile Transpa- 
renz und bildet ein vergleichbares Bild zwischen 
700-1000 nm wie zwischen 400-700 nm ab. 

- der Refiexionsgrad der Netzhaut zwischen 
700-1000 nm betragt R = 10-20% gegenuber R = 60 
3-5% zwischen 400-700 nm 

- es sind Photoempfanger mit hohem Quantenwir- 
kungsgrad wie Photomultiplier und Sitizium-Avalan- 
chedioden uber den gesamten Spektralbereich von 
400-1000 nm verfugbar. * 65 

- Gliihlampen, die zur Innenbeleuchtung von Gebau- 
den, bzw. im Freien zur StraBenbeleuchtung und bei 
Fahrzeugen verwendet werden, strahlen zwischen 
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700-1000 nm 10 mal mehr Licht ab als zwischen 
400-700 nm. 

- das Reflexionsvermogen der Vegetation der Natur ist 
um einen Faktor 5-10 zwischen 700-1000 nm hoher 
als zwischen 400-700 nm. 

Wie diese Beispiele zeigen, ist bei schwacher Beleuch- 
tung (Nachtsehen) eine nochmalige Erhohung des Emp- 
fangssignals um einen Faktor 100 durch Erwciterung des 
Spektralbereiches moglich. 

Die Erweiterung des spektralen Bereiches kann entweder 
in jedem Gerat fest installiert sein oder durch Wechseln von 
spektralen Filtern variabel gestaltet werden. Wird eine Farb- 
darstellung nicht gefordert, ist es sinnvoll, griines Laserlicht 
fur die Riickprojektion ins Auge, wegen der hochsten Emp- 
findlichkeit und Kontrastwahrnehmung des Auges bei dieser 
Farbe, zu verwenden. 

Zusatzliche Methoden zur Signalverbesserung, die hier 
eingesetzt werden konnen, sind die Integration mehrerer 
aufeinanderfolgender Bilder und die Bildkorreiation, z. B. 
Bilder der beiden Augen. 

Insgcsamt kann durch die Variation der zwei Parameter, 
der Verweilzeit des Scans in den Bildpixels und der GroBe 
des Bildflecks, mit Hinzunahme des infraroten Bereiches 
und der Verwendung von Bildkorreiation, eine gesamte Dy- 
namik der Empfangssignale uber sieben Dekaden erfaBt 
werden. 

Bei einer gesamten optischen Transmission des Emp- 
fangskanals von T = 0,2 (siehe Formel oben) umfaBt der 
Empfangbereich dieses dynamischen Aufnahmesystems 
Bcstrahlungsstarken auf der Netzhaut zwischen 10"" 5 W/cm 2 
und 100 W/cm 2 , was dem Bereich der typischen Innen- und 
AuBenhelligkeit umfaBt. 

Wegen der langsamen und schnellen Augenbewegungen 
ist es notwendig, das Scan system so zu gestalten, daB es der 
Anderung der Sehachse durch die Brille standig folgt, d. h. 
daB die Symmetrieachse der Bildabtastung, sowohl bei der 
Aufnahme, als auch bei der Projektion, mit der Sehachse 
identisch ist. 

Die Erfindung sieht zur Losung dieser Aufgabe vor, daB 
vor und nach der Abtastung des Netzhautreflexes bzw. der 
Bildprojektion ins Auge, eine Zentrierung des Kreisscans 
auf der Augenpupille durchgefuhrt wird. Dabei wird der 
groBte Abtastwinkcl des Kreisscans so gewahlt, daB bei ei- 
ner Ablage der Scansymmetrieachse von der Sehachse die 
AuBenflache des Augapfels, Sclera mit Regenbogenhaut 
und Pupillenoffnung von dem Kreisscan erfaBt wird. Da 
diese Tcile des Auges, die vom AuBcnlicht gut ausgelcuch- 
tet sind, nicht scharf, sondern diffus in der Bildzwischen- 
ebene des Photodetektors abgebildet werden, liefert das 
Empfangssignal hier keine Bildinformation, sondern eine 
integrate Anzeige uber das optische Ruckstreuvermogen der 
Vorlage. 

Wenn die Empfangssignale uber zeitlich gleich lange Ab- 
schnitte, z. B. Quadranten, aus jedem Kreis miteinander ver- 
glichen werden, sind sie nur dann von gleicher Hone, wenn 
die Achse des Kreisscans identisch ist mit der Augenachse 
(Sehachse). Signalunterschiede, wegen der unterschiedli- 
chen Riickstreuung aus Sklera, Regenbogenhaut und Pupil- 
lenoffnung, sind dann ein MaB uber die Achsenablage und 
ihre Richtung. Nach einer Normierung mit dem gesamten 
Empfangssignal uber jeden Kreis konnen diese Ablagesi- 
gnale zur Einstellung der Nullstellung eines nachsten Kreis- 
scans (Bias) verwendet werden. Somit kann eine urspriingli- 
che Ablage der Achsen mit jedem Kreisscan verrnindert 
werden bis sie beim Eintauchen des Kreisscans durch die 
Pupillenoffnung verschwindend gering wird (Pupillentrak- 
king). Fig. 1 zeigt schematisch den kozentrischen Scanvor- 
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gang bei justierten System, Fig. 2 stellt den Suchmode der 
Zentrierung des Scans durch die Augenpupille dar. 

Die Erfindung sieht alternativ zur Verwendung des Urn- 
gebungslichtes vor, daB auch mit der aktiven Beleuchtung 
der Laserprojektion ins Auge ein Pupillentracking im Au- 5 
Benbezirken des Kreisscans, mit gleichzei tiger Signalaus- 
wertung im Aufnahmekanal wie oben beschrieben, durchge- 
fiihrt wird. 

Die Erfindung sieht. auBcrdcm vor, daB auch wahrcnd der 
Laserbildprojektion das sowohl von der Umgebung als auch io 
vom Laser zurlickgestreute Licht aufgenommen und ausge- 
wertet wird. Diese gleichzeitige Aufnahme des Netzhautre- 
flexes von der Umgebung und der nachbearbeitenden Laser- 
bildprojektion eroff net die Moglichkeit, den Grad der Uber- 
lappung und die zeitliche Synchronisation beider Bilder 15 
standig zu iiberprufen, eventuelle Unterschiede als Bildin- 
terferenzen (Moire-Muster) zu erkennen, um diese dann 
durch Korrektursignale nachtraglich zu kompensieren. 

Die Aufnahme und Projektionstechnik im Sinne der Er- 
findung kann entweder an einem Auge eines Betrachters 20 
oder an seinen beiden Augen gleichzeitig, unabhangig von- 
cinander durchgcftihrt werdcn. Wcgcn des steroskopischen 
Sehens beider Augen wird in dem letzteren Fall eine dreidi- 
mensionale Bildaufnahme und Bildwiedergabe realisiert. 

Es ist nicht ohne weiteres verstandlich, daB die Aufnahme 25 
eines fehler- und verzeichungsfreien Reflexbildes der Um- 
gebung von der Netzhaut uber eine Brille, die weder in ihren 
optischen Eigenschaften individuell an jeden Betrachter an- 
gepaBt, noch vollstandig stabil sitzend auf dem Kopf des 
Betrachters sein kann. Die Losung hierzu im Sinne der Er- 30 
findung bcstcht erstcns in der relativ gcringcn optischen An- 
forderungen an den seriellen konfokalen Punktscan gegen- 
iiber z. B. einer flachenhaften Abbildung aus dem Auge, 
zweitens in der vollstandigen dynamischen Anpassung des 
optischen Strahlenganges des Scanners uber die Brille in das 35 
Auge, die jedesmal die Eigenbewegungen des Auges und 
der Brille selbst berucksichtigt, drittens in der exakten 
Ruckkehrung des Strahlenganges zwischen Aufnahme und 
Projektion und der kurzen Zeitdauer zwischen diesen Vor- 
gangen. Zur Einstellung des Scan durch das Auge, auch bei 40 
den verschiedenen Augenbewegungen dienen zwei scan- 
nende Elemente und ein Korrekturspiegel der auch justier- 
bar sein kann. Die Fig. 3 zeigt schematisch in Ubersicht das 
ganze System. Die Netzhaut des Auges NH wird mit dem 
fokussierten Strahl abgetastet. Hier stellt A A den Augapfel 45 
und AP die Augenpupille dar. Die teildurchlassige Brille ist 
hier mit BG bezeichnet. 

Die von der Umgebung durchgehenden Strahlen werden 
auf der Netzhaut fokussiert, gleichzeitig wird die Netzhaut 
punktuell abgetastet, wobei der Abtaststrahl in Transmission 50 
durch die Brille immer gegen eine Strahlungssenke schaut. 
Mit den zweiachsigen Abtastelementen HSS und VSS wird 
der Kreisscan durchgefuhrt. Mit dem Hilfsspiegel HS, der 
aktiv einstellbar sein kann, wird die Einfallsrichtung und 
Position des Strahles auf der Innenflache der Brille BG ein- 55 
gestellt. Mit dem Strahlumschalter SUS kann entweder mit 
einer zentralen Bohrung der beleuchtende Laserstrahl 
durchgelassen werden und der Empfangsstrahl, der meist 
wesentlich groBeren Durchmesser hat in die Empfangsein- 
heit reflektiert werden in getrennte Richtungen geleitet wer- 60 
den, oder es kann ein aktiv umschaltendes Spiegelelement 
verwendet werden das zwischen Empfang und Senden um- 
schaltet. 

Die Empfangseinheit kann z. B. aus drei getrennten Emp- 
fangskanalen fur die Grundfarben Rot, Griin und Blau oder 65 
andere Wellenlangenbereiche z. B. im nahen Infrarotbereich 
bestehen. Der Strahlengang aller Spektralkanale wird mit 
Hilfe dichroitischer Spiegel DS auf eine Achse gebracht. 
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Zur Einstellung der FleckgroBe des Abtaststrahles auf der 
Netzhaut und zur eventuellen Feinkorrektur der optischen 
Achse dient eine aktiv justierbare Gesichtsfeldblende GFB. 

Die Sendeeinheit kann z. B. aus drei Lasern mit den 
Grundfarben Rot LR, Griin LG und Blau LB geschaffen 
sein. Vor der Strahlvereinigung auf einer Achse mit dichroi- 
tischen Spiegeln DS werden die Einzelnen Strahlen entwe- 
der extern mitBildmodulatoren MR, MG und MB moduliert 
oder einfachcr dirckt uber den Anregungsstrom der Laser- 
emission. Die GroBe und Lage des Laserabtastflecks auf der 
Netzhaut wird mit einer aktiv steuerbaren Blende LAA die 
im Zwischenfokus zweier Linsen im Strahlengang einge- 
stellt wird. Als Empfanger fiir die Abtastung der Netzhau- 
treflexbildes sind z. B. Photomultiplier geeignet, die wech- 
selweise bei sehr schwachen optischen Signalen in einen 
Photon-counting Betrieb und bei starken Signalen in einen 
StrommeBbetrieb automatisch Umschalten. Auch ist die 
Verwendung von Avalanche Photodioden als Empfanger 
moglich. 

Als Lichlquellen zur Ruckprojektion der Bilder ins Auge 
sind Halbleiterlaser bzw. miniaturisierte Festkorperlaser 
vorgesehen mit einer niedrigcr Daucrstrichlcistung (< 
300 uW), die keine Gefahrdung des Auges verursachen kon- 
nen. Mit der Verwendung von Halbleiterlasern konnte die 
Bildmodulation direkt uber ihre Stromversorgung durchge- 
fuhrt werden. Damit aller Farben erzeugt werden empfiehlt 
sich die Verwendung von drei Lasern mit den Grundfarben 
rot, griin und blau. Wie das bekannte Farbdreieck des 
menschlichen Gesichtsinnes zeigt konnen alle anderen Far- 
ben sowie die Unfarben grau und weiB durch Farbsumma- 
tion von monochromatischen Laserlinien diescr Farben gc- 
bildet werden. Die Erfindung beinhaltet auch die Moglich- 
keit der Verwendung von einzelnen Farben als monochro- 
matische Losung vor. 

Die Erfindung sieht wie in Fig. 4 dargestellt einen Signal- 
Prozessor SP vor, der das direkte Bild von der Netzhaut 
elektronisch bearbeitet und alle Funktionen der Vorrichtung 
sowie die von Scannern VSS/HSS, des Hilfsspiegels HS und 
Laserfleckeinstellung LAA und GroBe der Gesichtsfeld- 
blende GFB synchron koordiniert. Der Bildverarbeitung- 
scomputer BVC ubernimmt dann die vom Auge wahrge- 
nommenen Bild oder Bilder anderer technischer Sensoren, 
die iiber einen externen AnschluB EA dem Computer zuge- 
fuhrt werden und bearbeitet sie nach einer vorgegebenen 
Software SW, bevor sie mit Hilfe des Signalprozessors auf 
die Laserstrahlen als Bildsignal aufmoduliert werden. In 
Fig. 4 sind der FluB der optischen und elektrischen sowie 
der Softwarcsignale getrennt dargestellt. Die komplctte La- 
sereinheit wird mit DE bezeichnet, ME als Modulationsein- 
heit und PME die komplette Empfangseinheit und SUS als 
der Strahlumschalter zwischen der Sende- und Empfangs- 
einheit. 

Die Laser-Projektion ermoglicht auBer der Verarbeitung 
des aktuellen vom Computer verarbeitetes Bild in das Auge 
zu projizieren und mit dem Originalbild zu verschmelzen, 
auch Fremdbilder, die dem Computer von extern zugeleitet 
werden, dem AuBenbild im Auge synchron zu uberlagem. 
Wenn die Zeitspanne zwischen Bildaufnahme- und Projek- 
tion im Vergleich zu den schnellen Augebewegungen ent- 
sprechend kurz ist, wird das Auge, wie bei der Betrachtung 
eines Fernsehschirmes, keine Bilduntcrbrechung mehr 
wahrnehmen. 

Die getrennte aber gleichzeitige Bildabtastung an beiden 
Augen erf aBt auch die perspektivischen Unterschiede beider 
Bilder. Da diese bei der Laserzuruckprojektion in beiden 
Augen erhalten bleiben, ist eine Wiederherstellung des 
raumlichen Sehens gewahrleistet. 

Die in der Erfindung verwendeten Bauelemente sind 
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heute weitgehend miniaturisiert und kostengiinstig erhalt- 
lich. Zum Scannen der Kreisfiguren konnen miniaturisierte 
Kippspiegel verwendet werden. Als zweite Moglichkeit zur 
Herstellung der Kreisfiguren bietet sich an die Verwendung 
von Kcilplatten-Scanncrn, die fur cinen Strahlcngang in 5 
Transmission ausgelegt sind. Der durchgehende Strahl wird 
durch jede der Platten uin einen festen Winkel gebrochen, 
der gesamte Ablenk winkel kann dann durch eine feste Dre- 
hung der Kcilplattcn gegeneinander kontinuierlich bis Null 
eingestelit werden. Bei einer gemeinsamen Drehung der 10 
Keilplatten mit einer festen Drehfrequenz beschreibt der ab- 
gelenkte Strahl dann eine Kreisspun Als dritte Moglichkeit 
bietet sich die Verwendung von akusto-optischen Ablenk- 
einheit, die den Vorteil der geringen Tragheit und der 
schnellen Ablenkung bieten. Der variabel einstellbare Hilfs- 15 
Spiegel HS wird vorzugsweise als einer mit Mikroaktorik in 
zwei Achsen einstellbarer Spiegel sein. 

Fur die Einstellung des LaserfleckgroBe und des Emp- 
fangsgesichtsfeldes bieten sich vorzugsweise mikromecha- 
nische Aktoren wie z. B. in den weitverbreiteten Laser-Prin- 20 
ter und CD-Plattenspielern auch verwendet werden. 

Die Strahlumlenkcinheit und Scanner konnen cin cincm 
einfachen Brillengestell untergebracht werden. Mit Hilfe 
von Glasfaserleitung konnen Laserprojektionseinheit in ei- 
nem kleinen Gehause z. B. in der GroBe eines Taschenbu- 25 
ches mit Betterieversorgung untergebracht werden. Der Da- 
tenaustausch mit einem externen fest installierten Bildverar- 
beitungsrechner kann entweder uber Radiowellen oder In- 
frarotstrahle erfolgen. Alle Elemente der Vorrichtung der 
Erfindung konnten nach dem heutigen Stand der Technik so- 30 
mit von einem Mcnschcn miihclos gctragen werden und der 
drahtlose Bilddatenaustausch mit dem externen Rechner 
wiirde seine unbeschrankte Bewegungsfreiheit ennogli- 
chen. 

Wie in der friiheren Anmeldung der Erfinderin Nr. 35 
19631414.3 kann dieser Art einer opto-elektronischen Brille 
in den verschiedensten Anwendung eine Verwendung fin- 
den: 

Aufnahme von Bildern der A u Ben welt, ihre Verarbeitung, 
Zuriickprojektion und Verschmelzung mit dem Originalbild 40 
im Auge wie z. B. zur Sichtverbesserung beim Fahren eines 
Fahrzeug oder als Sehhilfe von Sehbehinderte. 

tlberlagerung von Bildern anderer Aufnahmesysterne, 
z. B. in von der gleichen Szene in anderen Spektralberei- 
chen auf das direkte Bild in gleichen Anwendungen wie 45 
heute oder zukunftig das Helmet-mounted-display verwen- 
det wird. 

Ubcrlagcrung von virtuellcn Bildern, die allcine vom 
Computer hergestellt werden, in gleichen oder zukiinftigen 
Anwendungen der "virtual-reality" oder "cyberspace" Bild- 50 
projektion. 

Patentanspriiche 

1 . Bildverbesserungssystem, bei dem das Reflexbild in 55 
Inneren des Auges abgetastet wird und nach Modifika- 
tion auf dem gleichen Weg in das Auge zuriickproji- 
ziert wird nach Anmeldung Nr. 19631414,3, gckenn- 
zeichnet durch Verwendung eines Ellipsenscans. 

2. Bildverbesserungssystem nach Anspruch 1, da- 60 
durch gekennzcichnet, daB der Ellipsenscan durch Er- 
mittlung der AuBenrander der Pupille zur Justierung 
und Zentrierung des Scannersystems ohne weitere ex- 
terne Sensoren verwendet wird. 

3. Bildverbesserungssystem nach Anspruch 1, da- 65 
durch gekennzeichnet, daB das aufgenommene Bild 
mit dem zuruckprojizierten Bild zeitlich und ortlich 
synchronisiert wird. 
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4. Bildverbesserungssystem nach Anspruch 2, da- 
durch gekennzeichnet, daB die Scandauer dynamisch 
an die Anforderung von Auflosung, ErfaBzeitbedarf 
und Belichtungszeit angepaBt wird. 

5. Bildverbesserungssystem nach Anspruch 4, da- 
durch gekennzeichnet, daB die GroBe des Abtastflek- 
kens dynamisch entsprechend der Anforderung der 
Umgebungsbedingungen angepaBt wird. 

6. Bildverbesserungssystem nach cincm der Ansprii- 
che 4 oder 5, dadurch gekennzeichnet, daB der Spurab- 
stand der Scanspuren dynamisch entsprechend der An- 
forderung der Umgebungsbedingungen angepaBt wird. 

7. Bildverbesserungssystem nach Anspriichen 1 bis 6, 
dadurch gekennzeichnet, daB die GroBe des abgetaste- 
ten Bereichs entsprechend der Anforderungen des An- 
wendungsfalles angepaBt wird. 

8. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB das aufgenommene Bild 
durch ein nachgeschaltetes Bildverarbeitungssystem 
aufgehellt wird und dann zuriickprojiziert wird. 

9. Bildverbesserungssystem nach Anspruch 1 und 8, 
dadurch gekennzeichnet, daB das aufgenommene Bild 
durch eine Projektion des Bildes bei einer anderen Wel- 
lenlange als es aufgenommen wurde und dadurch in ei- 
nen anderen Lichtwellenlangenbereich transformiert 
wird. 

10. Bildverbesserungssystem nach Anspruch 1 und 9, 
dadurch gekennzeichnet, daB der Wellenbereich des 
aufgenommenen Bildes auBerhalb des Wahrnehmungs- 
bereiches des Auges ausgewertet wird und in den sicht- 
baren Bercich transformiert wird. 

11. Bildverbesserungssystem nach Anspruch 1 und 8, 
dadurch gekennzeichnet, daB das aufgenommene Bild 
so stark aufgehellt wird, daB die urspriinglich vom 
Auge erkennbare Schwarz-WeiB (Stabchensehen)-Tn- 
formation in eine Farbinformation transformiert wird 
(Zapfchensehen). 

12. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB das aufgenommene Bild 
durch Berechnen und Modulieren der Projektion liber 
einen geeigneten Algorithmus (Fouriertransformation) 
so gescharft wird, daB Sehfehler des Auges ausgegli- 
chen werden. 

13. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB fiir die Justierung des Scan- 
nersystems ein externer Sensor zur Ennittlung der Pu- 
pillenposition verwendet wird. 

14. Bildverbesserungssystem nach Anspruch 1 bis 13, 
dadurch gekennzeichnet, daB das aufgenommene Bild 
hinsichtlich des Bildinhaltes ausgewertet wird um ex- 
terne Reaktionen und Steuerfunktionen zu akuvieren. 

15. Bildverbesserungssystem nach Anspruch 14, da- 
durch gekennzeichnet, daB die Bildinhalte beider Au- 
gen verglichen werden. 

16. Bildverbesserungssystem nach Anspruch 14, da- 
durch gekennzeichnet, daB die Position der Pupillen 
beider Augen verglichen wird. 

17. Bildverbesserungssystem nach Anspruch 15, da- 
durch gekennzeichnet, daB der Bildinhalt der Forea 
Centralis beider Augen verglichen wird. 

18. Bildverbesserungssystem nach Anspruch 16 und 
17, dadurch gekennzeichnet, daB die Position der Pu- 
pillen und Bildinhalte der Forea Centralis beider Au- 
gen zur Ermittlung der Sehachse verwendet werden fur 
Triangolation (Entfernungsbestimmung). 

19. Bildverbesserungssystem nach Anspruch 1 bis 18, 
dadurch gekennzeichnet, daB die Bildinformation des 
Auges verwendet wird um die absolute Helligkeit der 



DE 197 28 890 A 1 

n 

Umgebung zu ermittein. 

20. Bildverbesserungssystem nach Anspruch 19, da- 
durch gekennzeichnet, daB die Bildinformation des 
Auges verwendet wird um die absolute Farbtemperatur 
dcs Lichtes zu ermittein. 5 

21. Bildverbesserungssystem nach Anspruch 1 und 2, 
dadurch gekennzeichnet, daB das System zur Ermitt- 
lung der PupillengroBe verwendet wird. 

22. Bildverbesserungssystem nach Anspruch 8, da- 
durch gekennzeichnet, daB das aufgenommene Bild to 
durch ein nachgeschaltetes Bildverarbeitungssystems 

so aufgehellt wird, daB die physiologische Scheinemp- 
findlichkeit in einen anderen weniger empfindlichen 
Bereich verschoben wird. 

23. Bildverbesserungssystem nach Anspruch 1, da- 15 
durch gekennzeichnet, daB der Ellipsenscan von auBen 
nach innen lauft. 

24. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB der Ellipsenscan von innen 
nach auBen lauft. 20 

25. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB der Ellipsenscan durch Zu- 
sammenfallen der beiden Brennpunkte zu einem Kreis- 
scan verandert wird. 

25 
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